Auto merge of #3369 - joshtriplett:cargo-install-only-required-dependencies, r=alexcrichton

cargo fails if it can't find optional dependencies, even if corresponding feature not enabled

I have a directory registry containing all the crate sources needed to build an application crate (for instance, ripgrep), and a `$CARGO_HOME/config` file that looks like this:

```toml
[source.crates-io]
replace-with = "dh-cargo-registry"

[source.dh-cargo-registry]
directory = "/usr/share/cargo/registry/"
```

When I attempt to build ripgrep via "cargo install ripgrep" from that directory registry, I get this error:

```
error: failed to compile `ripgrep v0.3.1`, intermediate artifacts can be found at `/tmp/cargo-install.rmKApOw9BwAL`

Caused by:
  no matching package named `simd` found (required by `bytecount`)
location searched: registry https://github.com/rust-lang/crates.io-index
version required: ^0.1.1
```

The directory registry indeed does not contain "simd"; however, bytecount doesn't require simd.  It has an optional dependency on simd, and nothing enables the feature that requires that dependency.

Placing the simd crate sources into the directory registry allows ripgrep to build; the resulting build does not actually build the simd crate.

I can reproduce this by just trying to build the "bytecount" crate directly, using the same `$CARGO_HOME`:

```
error: no matching package named `simd` found (required by `bytecount`)
location searched: registry https://github.com/rust-lang/crates.io-index
version required: = 0.1.1
```
(Incidentally, that "version required" seems wrong: bytecount has an optional dependency on simd `^0.1.1`, not `=0.1.1`.)

However, this doesn't seem consistent with other crates in the same dependency tree.  For instance, ripgrep also depends on clap, and clap has an optional dependency on yaml-rust, yet cargo does not complain about the missing yaml-rust.

I'd *guess* that the difference occurs because ripgrep has an optional feature `simd-accel` that depends on `bytecount/simd-accel`, so cargo wants to compute what packages it needs for that case too, even when building without that feature. (Similar to #3233.)

However, this makes it impossible to build a package while installing only the packaged dependencies for the enabled features.  Could `cargo install` ignore any dependencies not actually required by the enabled feature?  (That behavior would make no sense for "cargo build", which builds a Cargo.lock file that should remain consistent regardless of enabled features, but it makes sense for "cargo install cratename", which doesn't build a Cargo.lock file.)

Auto merge of #3795 - jryans:template-year, r=alexcrichton

Add year to project template variables

This adds the current year as a `year` variable for project templates. Some license files / headers include the year, so this should make it easier to include those in a template.

In "cargo install" directly from registry, don't require optional dependencies

When building with a directory registry that contains only the subset of
crates required to build an application crate, cargo fails if that
subset doesn't include optional dependencies pulled in for every
possible feature of the root crate, even when the install doesn't enable
those features.  This prevents Linux distributions from building with
a minimal set of dependencies (omitting, for instance, packages for
unstable/nightly features).

Introduce a new workspace flag "require_optional_deps", disabled for
install and enabled for everything else.  Skip the initial
Method::Everything resolve in this case, and modify
resolve_with_previous to support running a Method::Required resolve
without a previous resolution.

This also skips adding path overrides, as those won't make sense (and
won't work) for an install directly from a registry.

Introduce a set of tests for "cargo install" directly from a directory
registry.

Use time crate directly to get the year

Auto merge of #3799 - integer32llc:restore-generated-tests-module, r=alexcrichton

Restore the generated tests module created by `cargo new`

Appears to have been removed unintentionally in #3004.

Was just working on the book, ran `cargo new adder` with cargo-0.18.0-nightly (6f1b860 2017-02-11), and got this in `src/lib.rs`:

```rust
#[test]
fn it_works() {
}
```

when I expected to get this:

```rust
#[cfg(test)]
mod tests {
    #[test]
    fn it_works() {
    }
}
```

It looks like this was changed as part of #3004 ([removed](https://github.com/rust-lang/cargo/commit/875a8aba7916b63c3c8464008a271f6082e23779#diff-149dd4362a3b0dc13b113762713119dfL477), [added](https://github.com/rust-lang/cargo/commit/875a8aba7916b63c3c8464008a271f6082e23779#diff-149dd4362a3b0dc13b113762713119dfR678)), I'm assuming unintentionally?

The regression has not yet hit the beta channel; `cargo-0.17.0-nightly (0bb8047 2017-02-06)` generates the src/lib.rs I expect.

Restore the generated tests module created by `cargo new`

Appears to have been removed unintentionally in #3004.

Add year to project template variables

Auto merge of #3791 - sunng87:port-handlebars-to-serde, r=alexcrichton

Use serde type system for handlebars

This will help cargo to drop rustc_serialize as dependency (#3682). Handlebars actually supports using serde_json as its type system instead of rustc_serialize. And I'm planning to drop rustc_serialize in future releases.

Use serde type system for handlebars

This will help cargo to drop rustc_serialize as dependency

Auto merge of #3782 - alexcrichton:more-proc-macro, r=matklad

Accept proc_macro in addition to proc-macro

More historical behavior...

Auto merge of #3786 - joshtriplett:directory-registry-no-url, r=alexcrichton

tests/directory: Remove unnecessary dummy registry URL for crates.io

Older versions of cargo required this; current versions do not.  All of
the tests still pass with it removed.

Auto merge of #3785 - joshtriplett:insulate-tests-from-user-env, r=alexcrichton

tests: Insulate from user git environment

Several tests in "cargo test" would fail if the user had any of the Git
environment variables set for name or email address, because those
environment variables would override the tested configuration.  Filter
out those environment variables.

tests: Insulate from user git environment

Several tests in "cargo test" would fail if the user had any of the Git
environment variables set for name or email address, because those
environment variables would override the tested configuration.  Filter
out those environment variables.

tests/directory: Remove unnecessary dummy registry URL for crates.io

Older versions of cargo required this; current versions do not.  All of
the tests still pass with it removed.

Auto merge of #3767 - ehiggs:fix-init-bin-lib-section, r=alexcrichton

Fix for #3722

When using init, add [[bin]] and [lib] section where appropriate.

Accept proc_macro in addition to proc-macro

More historical behavior...

Auto merge of #3779 - amotz:appveyor-url, r=alexcrichton

Fix AppVeyor badge URL

Auto merge of #3721 - alexcrichton:dupe-doctest, r=brson

Fix deps with `cargo test --all` and doctests

This commit fixes `cargo test --all` with the way we ship libraries to `rustdoc
--test`. I'm... not entirely sure what the previous incarnation was doing but
the current organization is to interpret `compilation.libraries` as a mapping
from a package to the list of crates it needs to link to test.

This updates the support in `cargo_rustc/mod.rs` to create the map appropriately
and tweaks the loop in `cargo_test.rs` as well.

Closes rust-lang/rust#39879

Fix deps with `cargo test --all` and doctests

This commit fixes `cargo test --all` with the way we ship libraries to `rustdoc
--test`. I'm... not entirely sure what the previous incarnation was doing but
the current organization is to interpret `compilation.libraries` as a mapping
from a package to the list of crates it needs to link to test.

This updates the support in `cargo_rustc/mod.rs` to create the map appropriately
and tweaks the loop in `cargo_test.rs` as well.

Closes rust-lang/rust#39879

Fix AppVeyor badge URL

Auto merge of #3775 - alexcrichton:version-info, r=alexcrichton

Prefer CARGO_PKG_* in version info

These are always set by Cargo and avoids rustbuild-building-cargo to need to
parse semver

Auto merge of #3699 - alexcrichton:sslop, r=brson

Add an option to ignore SSL revocation checking

This is apparently required in some Windows setups to get past SSL context
creation in schannel.

Auto merge of #3776 - alexcrichton:underscores, r=matklad

Accept more underscore variants in configuration

Preserving more historical behavior of the old TOML parser.

Accept more underscore variants in configuration

Preserving more historical behavior of the old TOML parser.

Prefer CARGO_PKG_* in version info

These are always set by Cargo and avoids rustbuild-building-cargo to need to
parse semver

Auto merge of #3771 - alexcrichton:read-more, r=matklad

Accept `default_features` for `default-features`

This was accepted by this historical TOML parser, so we'll need to preserve this
ability.

Closes #3768

Auto merge of #3770 - jbendig:issue_3762, r=alexcrichton

Fixes #3762

Fixes issue #3762. `cargo test` and `cargo bench` should no longer compile binaries with required features that have not been selected.

Accept `default_features` for `default-features`

This was accepted by this historical TOML parser, so we'll need to preserve this
ability.

Closes #3768

Remove tab characters.

:bowing_man:

Fixed compile failing because Resolve::features() no longer returns an Option.

Fixed `cargo test` and `cargo bench` compiling binaries with required features that have not been selected.

Satisfy check-style.sh

Fix for #3722

When using init, add [[bin]] and [lib] section where appropriate.

Auto merge of #3760 - sanmai-NL:Cargo_new_gitignore_rustfmt_.rs.bk, r=alexcrichton

Add `src/**/*.rs.bk` to VCS ignore file

See #2409, specifically https://github.com/rust-lang/cargo/pull/2409#issuecomment-281707650.

Also limit `target` exclusion to `target/` (dirs) as expected.

Auto merge of #3752 - matklad:always-artifacts, r=alexcrichton

Always produce artifact messages

This changes `artifact` messages in several ways:

* They are produced even for fresh builds

* They used the path after hard linking (@jsgf talked about it in the end of https://github.com/rust-lang/cargo/pull/3319#issuecomment-263975431)

* Don't produce filenames if the compiler has not actually produced the binaries (`-Z-no-trans`).

Exclude `*.rs.bk` files more liberally

This will cover them in different places as well, considering the default
[project layout](https://doc.crates.io/guide.html#project-layout).

Produce artifacts JSON messages even for fresh builds

Auto merge of #3742 - matklad:sets-are-monoid, r=alexcrichton

Simplify feature-handling code

A neat (imo :) ) hack to use an empty `&HashSet` instead of `Option<&HashSet>`.

Add `src/**/*.rs.bk` to VCS ignore file

Limit `target` exclusion to `target/` dirs.

Auto merge of #3758 - mbrubeck:docs, r=alexcrichton

Document that OUT_DIR is set during compilation for packages with build scripts

None

Document that OUT_DIR is set during compilation for packages with build scripts

Simplify feature-handling code

Add an option to ignore SSL revocation checking

This is apparently required in some Windows setups to get past SSL context
creation in schannel.

Auto merge of #3682 - alexcrichton:serde, r=brson

Migrate from rustc-serialize to Serde

This commit migrates Cargo as much as possible from rustc-serialize to
Serde. This not only provides an excellent testing ground for the toml
0.3 release but it also is a big boost to the speed of parsing the JSON
bits of the registry.

This doesn't completely excise the dependency just yet as docopt still
requires it along with handlebars. I'm sure though that in time those
crates will migrate to serde!

Migrate from rustc-serialize to Serde

This commit migrates Cargo as much as possible from rustc-serialize to
Serde. This not only provides an excellent testing ground for the toml
0.3 release but it also is a big boost to the speed of parsing the JSON
bits of the registry.

This doesn't completely excise the dependency just yet as docopt still
requires it along with handlebars. I'm sure though that in time those
crates will migrate to serde!

Auto merge of #3733 - llogiq:clippy, r=alexcrichton

some clippy-suggested improvements

This fixes a number of [clippy](https://github.com/Manishearth/rust-clippy) warnings. It's mostly about readability, though a few changes could affect performance (though probably not measurably).

I've left out things to fix later; I thought I'd just push the first batch to see if you like it.

Auto merge of #3743 - jbendig:required_features_doc, r=alexcrichton

Improved required-features docs

This should make it more clear about what happens when not all of the required features are selected.

Auto merge of #3738 - hiseni:master, r=alexcrichton

add help email mention to the policies page

Update policies page to include help email address mention as described here: rust-lang/crates.io#522 :slightly_smiling_face:

Auto merge of #3735 - king6cong:clean, r=alexcrichton

make code more readable

Auto merge of #3734 - king6cong:typo, r=alexcrichton

typo fix

Auto merge of #3731 - alexcrichton:check-all, r=matklad

Add `cargo check --all`

This'll check all `build` targets for all packages in a workspace

Changed wording for required-features docs to be more clear that missing features means the target is skipped.

Auto merge of #3708 - matklad:assert-tests, r=alexcrichton

Assert that we don't build test project twice.

Discussed in https://github.com/rust-lang/cargo/pull/3691#discussion_r100878827.

I've modify the offending tests to be more explicit about recreating projects.

Auto merge of #3737 - jbendig:issue_3727, r=alexcrichton

Fixed required-features not working with dependencies' features.

This should fix issue #3727.

@sgrif suggested making the documentation more clear as well. Should I submit a separate pull request or add a commit for that?

add help email mention to the policies page

improved formatting for bonus points

Fixed some lines being over 100 characters.

Fixed required-features not working with dependencies' features for issue #3727.

make code more readable

typo fix

improved formatting for bonus points

some clippy-suggested improvements

Fix recompilation test for mac

On macs, mtime has a seconds granularity, so we need to sleep a bit

Auto merge of #3723 - king6cong:doc, r=alexcrichton

remove legacy doc

Auto merge of #3730 - froydnj:cargo-version-dash-fix, r=alexcrichton

use space, not dash, in `cargo --version` output

 #3604 inadvertently changed the output format of `cargo --version`:

```
froydnj@hawkeye:~/src/cargo.git$ ./target/x86_64-unknown-linux-gnu/release/cargo --version
cargo-0.17.0-dev (ae4a4d8 2017-01-27)
froydnj@hawkeye:~/src/cargo.git$ cargo --version
cargo 0.16.0-nightly (6e0c18c 2017-01-27)
```

Note the dash between cargo and the version number in the newer version.

Let's put the space back to not break things that might depend on the
`--version` output.

Auto merge of #3715 - saghm:master, r=alexcrichton

Fix typo in code example

Add `cargo check --all`

This'll check all `build` targets for all packages in a workspace

Auto merge of #3716 - matklad:multi-tests, r=alexcrichton

Allow to run several integration tests

It's useful to be able to run several, but not all, test targets at once (especially in the IDE, where you want to select a bunch of files and command "run these!"). This seems to work, but obviously needs some tests. `Options` `struct` already supports several targets.

use space, not dash, in `cargo --version` output

 #3604 inadvertently changed the output format of `cargo --version`:

```
froydnj@hawkeye:~/src/cargo.git$ ./target/x86_64-unknown-linux-gnu/release/cargo --version
cargo-0.17.0-dev (ae4a4d8 2017-01-27)
froydnj@hawkeye:~/src/cargo.git$ cargo --version
cargo 0.16.0-nightly (6e0c18c 2017-01-27)
```

Note the dash between cargo and the version number in the newer version.

Let's put the space back to not break things that might depend on the
`--version` output.

Auto merge of #3729 - alexcrichton:remove-caching, r=alexcrichton

Disable caches on AppVeyor/Travis

They just seem to grow without bound and cause problems unfortunately :(

Disable caches on AppVeyor/Travis

They just seem to grow without bound and cause problems unfortunately :(

Document that `cargo test` only compiles example

remove legacy doc

Auto merge of #3717 - king6cong:clean, r=alexcrichton

remove unnecessary code

Auto merge of #3719 - alexcrichton:curl-sys, r=alexcrichton

Update libz-sys

Try to fix AppVeyor CI

Update libz-sys to fix AppVeyor CI

Needs a fix for msys instead of Windows paths

Add tests for testing several targets

Revive dependency recompilation test

remove unnecessary code

Allow to run several integration tests

Fix typo in code example

Auto merge of #3714 - alexcrichton:update-git2, r=alexcrichton

Update libgit2

Pull in a fix for #3610

Update libgit2

Pull in a fix for #3610

Assert that we don't build test project twice.

That may work on linux and fail on windows, so it's better to proactively verify it.

Auto merge of #3710 - seppo0010:one-file-too-many, r=alexcrichton

Fix dupe word in documentation

Fix dupe word in documentation

Auto merge of #3707 - king6cong:handle_stderr, r=alexcrichton

fix arg name

fix arg name

Auto merge of #3701 - matklad:rel-manifest-path, r=alexcrichton

Normalize ws root path

closes #3586

r? @alexcrichton

Normalize ws root path

closes #3586

Auto merge of #3700 - matklad:faster-test, r=alexcrichton

Don't use real serde in tests

This test used to take 1.5 minutes on my machine (without significant CPU usage however), now it finishes in a couple of seconds. I don't fully understand what is tested here, but I suppose we don't really need serde.

Don't use real serde in tests

Auto merge of #3692 - malbarbo:test-args, r=alexcrichton

Pass multiples --test-args to the tester

Like --cfg, --test-args accept multiple matches, we should use it and
avoid some unexpected behavior joinning the arguments with space.

Auto merge of #3691 - matklad:run-pkg, r=alexcrichton

cargo run supports --package argument

closes #3529

Auto merge of #3689 - ms705:master, r=alexcrichton

More intuitive CARGO_INCREMENTAL semantics

Currently, the mere presence of a `CARGO_INCREMENTAL` variable in the environment causes incremental compilation to be enabled. This has the very counterintuitive effect that `CARGO_INCREMENTAL=0` and even `CARGO_INCREMENTAL=` mean incremental compilation is *on*.

This PR brings the semantics in line with how they are defined in the tests (cf. [tests/build.rs:45](https://github.com/rust-lang/cargo/blob/master/tests/build.rs#L45)), and in [public-facing documentation](https://internals.rust-lang.org/t/incremental-compilation-beta/4721).

See also [rust#39773](https://github.com/rust-lang/rust/issues/39773) for an example of this causing confusion in the wild.

Auto merge of #3684 - casey:search-copy-pastafication, r=alexcrichton

Increase copypastafication of `cargo search`

Formats the search results printed by `cargo search` so that they can be
copied directly into a `Cargo.toml` file.

I used `^`, since I like being explicit, although that seems not to be the convention, so I'd be happy to remote it.

I also added a `#` in front of the description, so that that can be copy pastaed as well. I'm not super attached to this idea, but I think it's interesting, since it would serve to document what the various dependencies of a crate are for new contributors.

For example:

```
$ cargo search clap
clap = "^2.20.3"               # A simple to use, efficient, and full featured  Command Line ArgumentParser
please-clap = "^0.1.0"         # Pattern-match against Clap subcommands and arguments.
clapcomp = "^0.1.5"            # clap completion generator as command
clap-test = "^0.1.1"           # functions and macros to assist in testing clap
structopt = "^0.0.2"           # Parse command line argument by defining a struct.
capgun = "^0.1.1"              # fire when ready file watcher
structopt-derive = "^0.0.2"    # Parse command line argument by defining a struct, derive crate.
cargo-outdated = "^0.3.0"      # Cargo subcommand for displaying when dependencies are out of date
wesers = "^0.4.1"              # a simple HTTP/HTTPS server in Rust
cargo-arch = "^0.1.0"          # Rust Arch Linux package packer
... and 6 crates more (use --limit N to see more)
```

cargo run supports --package argument

closes #3529

Auto merge of #3693 - alexcrichton:improve, r=alexcrichton

Rework some required-features tests

Don't delete the build dir as this ends up being flaky on Windows.

Rework some required-features tests

Don't delete the build dir as this ends up being flaky on Windows.

Pass multiples --test-args to the tester

Like --cfg, --test-args accept multiple matches, we should use it and
avoid some unexpected behavior joinning the arguments with space.